big data 첫 DAG를 만들어보자 생성한 파일에서 우리의 첫 DAG를 생성해보자. dag_id, schedule_interval, start_date, catchup 이 파라미터로 전달된다. 이 중 dag_id는 airflow 서버 내에서 유일해야 함에 유의하자. 앞으로 DAG 내에서 동일하게 계속 사용될 애트리뷰트는 default_args로 분리하여두면 코드를 조금 더 깔끔하게 관리할 수 있다. 예를 들어, task의 재실... airflowbig datamlopsairflow [spark] Spark 3 클러스터 설치 5개의 컴퓨터를 사용하여 hadoop 클러스터 위에서 돌아가는 spark 클러스터를 설치한다. Spark 버전 : 3.0.1 이미 hadoop cluster가 구축되어있다는 가정 하에 진행한다. 참고 server01 server02 server03 server04 server05 NameNode SecondaryNameNode NodeManager DataNode DataNode DataNo... big databig data
첫 DAG를 만들어보자 생성한 파일에서 우리의 첫 DAG를 생성해보자. dag_id, schedule_interval, start_date, catchup 이 파라미터로 전달된다. 이 중 dag_id는 airflow 서버 내에서 유일해야 함에 유의하자. 앞으로 DAG 내에서 동일하게 계속 사용될 애트리뷰트는 default_args로 분리하여두면 코드를 조금 더 깔끔하게 관리할 수 있다. 예를 들어, task의 재실... airflowbig datamlopsairflow [spark] Spark 3 클러스터 설치 5개의 컴퓨터를 사용하여 hadoop 클러스터 위에서 돌아가는 spark 클러스터를 설치한다. Spark 버전 : 3.0.1 이미 hadoop cluster가 구축되어있다는 가정 하에 진행한다. 참고 server01 server02 server03 server04 server05 NameNode SecondaryNameNode NodeManager DataNode DataNode DataNo... big databig data